视频:强化学习如何实现个性化观看体验

阅读这段录音的完整文本:

Rafah Hosn: 这里有另一个可以考虑的解决方案. 这是机器学习的一个新范例，叫做强化学习. 在这里，我们使用真实的终端用户反馈来训练我们的模型. So, how does that work? 让我们再看一下新闻的例子.

We have a user. 他们来到他们最喜欢的新闻网站. 在后台有一个在线学习软件. 无论何时用户进来，用户都有上下文. 这意味着它们有一些特性集, 他们所在的地理位置, 或者他们使用的设备类型. 我们称它为上下文X. Then, inside that red box, there is a policy, a model, 它是根据上下文X为用户选择最好的新故事列表. 我们称之为行动.

强化学习的关键在于我们不会就此止步. 学习者提出一个动作，然后等待用户的反馈. 这就是为什么它被称为强化学习, 因为每次用户点击, 这对在线学习者来说是一种正强化反馈. 这就像教小狗玩把戏一样. 每次小狗做点什么，你就给它一点奖励. 这是一个积极的反馈. 每次小狗做错事，你就说:“坏小狗。.“它不会从中吸取教训. 原理是一样的. 这就是我们用于个性化的范例.

现在，强化学习的关键是一个叫做探索的概念. 给那位问起猫和狗的先生, 至少在我们的强化学习中是这样, 假设你喜欢太空. So in most, 80%的时间我们会为你选择太空文章因为我们知道你喜欢. But add some random .2%, .1%， 2%，我们选一篇不同的文章. 所以，我们会给你看猫，在一些可配置的数字，我们说，“你知道吗? 我们将探索这个空间，看看这位先生是否真的喜欢狗.“所以，我们要让狗看看. 然后我们观察你对狗的反应. 如果你给我们一个积极的反馈，我们会说，“哦，好吧. Okay. 也许不仅仅是猫. 也许他真的有点喜欢狗."

这种探索是非常非常强大的. 这不是完全的随机探索. 它是对一系列可行行动的探索. 所以在新闻的背景下, 你的社论有12个故事列表, 应该在页面上显示的热门故事. So, 80%的时间我们会播放我们认为你喜欢的新闻, 20%我们会随机抽取12篇文章，并提出不同类型的文章，看看用户是否对它有积极的反应. 这就是这个算法的正强化反馈.

事实证明，探索是如此强大，因为它现在允许你自动标记你的数据集. 你不需要花钱标记你的数据集，因为每一个正强化都是一个标签. 任何时候你在探索，你实际上是在增加你的数据集. 所以，这给了你一个非常丰富的数据集，你可以从中学习.